Câu lạc bộ bóng đá de Mulhouse được thành lập vào năm 1893 dưới tên Fussball Club Mülhausen bởi hai thanh niên người Anh theo học tại Trường hóa học Mulhouse ở Mülhausen, Alsace-Lorraine ở Đức. Các sinh viên đã giới thiệu môn thể thao này cho các sinh viên của họ và một câu lạc bộ sau đó đã được thành lập. Năm 1901, họ được tham gia bởi một nhóm các cầu thủ bóng đá được gọi là "Những chàng trai trẻ" đến từ Nhà thi đấu Oberrealschule. Đội bóng là thành viên của VSFV (tiếng Đức: Verband Süddeutscher Fussball Vereine hoặc Liên đoàn các câu lạc bộ bóng đá Nam Đức) vào năm 1904. Câu lạc bộ đã trải qua một cuộc khủng hoảng tài chính vào năm 1905, nhưng vẫn tồn tại để tiếp tục thi đấu.

Sau Thế chiến I, Pháp đã giành lại lãnh thổ Alsace từ Đức và FC Mülhausen trở thành một phần của giải đấu Division d'Honneur - Alsace với tư cách là FC Mulhouse nơi câu lạc bộ chiếm được chức vô địch năm 1921 và kết thúc với tư cách là á quân năm 1926. Mulhouse sau đó tập hợp một chuỗi năm danh hiệu liên tiếp từ 1928 đến 1932. Danh hiệu khu vực năm 1932 đã được trao cho một chiến thắng trong Coupe Sochaux, còn được gọi là Thử thách Peugeot, một trong những tiền thân của giải vô địch quốc gia lần đầu tiên được tổ chức vào mùa giải tiếp theo.

Sau khi tái tổ chức bóng đá Pháp thành một hệ thống quốc gia, FCM đã chơi một mùa duy nhất ở giải hạng nhất / bảng A trước khi bị xuống hạng. Họ đã trở lại giải đấu hàng đầu vào năm 1934 cho đến khi một lần nữa bị xuống hạng vào năm 1937.

Với sự khởi đầu của Thế chiến II và tái chiếm Alsace bởi Đức FCM đã trở lại thi đấu bóng đá Đức trong giải hạng nhất khu vực Gauliga Elsaß năm 1941. Họ nhanh chóng trở thành đội thống trị ở đó khi giành được các danh hiệu vào năm 1941, 1943 và 1944, nhưng không thể theo kịp bất kỳ thành công nào trong các vòng playoff giải vô địch quốc gia Đức, bị loại ngay từ vòng đầu mỗi lần. Khi thi đấu ở Gauliga, giải đã bị đình chỉ một phần trong suốt mùa giải 1944 1945 khi quân đội Đồng minh tiến vào Đức.

Sau chiến tranh, FCM một lần nữa trở lại với bóng đá Pháp để chơi một mùa giải duy nhất trong giải hạng hai trước khi trượt xuốngcấp độ nghiệp dư, nơi họ sẽ duy trì cho đến năm 1970. Câu lạc bộ đã vật lộn qua sáu mùa giải trong giải hạng hai trong suốt thập kỷ. Tuy nhiên, hiệu suất của họ đã được cải thiện trong thập niên 80 và Mulhouse trở thành một câu lạc bộ hạng hai vững chắc, kiếm được một cơ hội trong mùa giả trong sân chơi cao nhất trong năm 1982. Trong những năm đầu thập niên 90, câu lạc bộ đã chơi với tên FC Mulhouse Sud-Alsace và tiếp tục thi đấu giải hạng hai cho đến khi xuống hạng vào năm 1998. Một cuộc khủng hoảng tài chính theo sau và câu lạc bộ đã bị phá sản vào năm 1999, sau đó được tổ chức lại như một đội bóng nghiệp dư vào mùa giải tiếp theo. Năm 2005, câu lạc bộ đã được thăng cấp từ CFA 2 (V) lên CFA (Championnat de France), hạng đấu nghiệp dư cao nhất của đất nước.